GST-Bench：评估 VLM 从视频中形成全局空间感知的基准
🧭 视觉语言模型空间推理评估
ByteDance Seed · Zhejiang University · National University of Singapore
提出全局时空视频理解基准，发现最强 VLMs 零样本得分仅 42.68（人类 79.08），长视频场景整合能力严重不足
📌 工作参考价值（4 点）
- 主要是学术贡献，对电商/推荐系统的直接工程借鉴有限。
- 若未来涉及 AR/VR 导购或机器人店内导航，长序列视觉空间整合的评估思路可参考。
- 合成视频数据生成策略可用于构建训练数据，辅助需要空间感知的视觉下游任务。
- 揭示了当前 VLM 在长时程多视角视觉融合上的短板，提示设计用户行为理解模型时不可忽视长期依赖性建模。
Mage-VL: 高效编解码器原生的流式多模态基础模型
🧭 流式视频理解 · 高效视觉编码
Microsoft
利用类视频编码的 I/P 帧运动向量选择性编码动态区域，减少 75% visual token 并实现 3.5 倍推理加速的流式 VLM
📌 工作参考价值（4 点）
- 借鉴 Mage-ViT 的稀疏编码思路：在电商视频理解或用户行为序列建模中，可设计基于运动/变化量驱动的自适应 token 剪枝，只保留高熵片段，大幅降低 Transformer 输入长度与成本。
- 双系统架构（轻量 System1 事件门 + 因果 System2 解码器）适合实时推荐场景：用极低成本的事件门控持续监听流式交互，仅当检测到关键意图或状态变化时才唤醒重型推理模型，实现低延迟主动推荐。
- AI4AI 数据管线中的 prompt-code 联合优化与性能诊断方法，可迁移到商品文案生成、搜索词推荐的自动评估与迭代优化，用 AI 诊断模型产出调优建议，替代人工 badcase 分析。
- 论文发现 VideoQA 中的 SFT 数据存在大量冗余，实际只需少量高质量样本即可饱和；在推荐系统里的对话式推荐或解释生成任务中，可尝试小样本精调，避免全量标注成本。
Orca：世界在你心中——基于状态预测的通用世界基础模型
🧭 世界模型 · 多模态预训练
Beijing Academy of Artificial Intelligence
以Next-State-Prediction为核心，通过无意识与有意识学习统一世界潜在空间，在下游多模态任务中展现强迁移能力
📌 工作参考价值（4 点）
- 状态转移建模借鉴：用户行为序列可类比世界状态转移，用无意识学习处理大量未标注浏览序列，有意识学习聚焦稀疏但关键的转化事件（如点击、购买），提升对用户长期兴趣的建模。
- 多模态统一表示：将商品图文、用户行为等多模态信号对齐到同一潜在空间，冻结预训练主干，仅在下游训练轻量解码器，降低推荐/搜索系统的多任务开发成本。
- 数据飞轮构建：参考“密集状态转移（视频帧）+ 稀疏事件标注”的混合预训练数据设计，构建高密度交互日志与人工标注反馈相结合的训练流水线。
- 工程轻量化：冻结世界模型主干、只微调解码器的范式，可直接迁移到已有大模型部署场景，快速适配新业务目标如内容生成、问答、动作推荐。
DnA：面向视觉任务的去噪注意力机制
🧭 去噪注意力机制提升模型判别力
University of Central Florida · University of North Carolina at Charlotte
通过正负查询分离与子空间排斥设计，消除softmax注意力中的噪声模式，提升ViT/B等视觉模型判别力。
📌 工作参考价值（4 点）
- 用户行为序列（点击/购买）常含误触、偶然兴趣等噪声，可借鉴DnA的正/负query思想：设计正query提取目标意图，负query抑制干扰行为，提升序列建模质量。
- 电商多模态场景（商品图片+文本）中，视觉注意力易被背景、无关细节干扰，可将DnA嵌入ViT backbone，增强物品表征的判别力。
- 子空间分离增大主角的想法可迁移到embedding层：对不同属性的特征（如类目、品牌）学习相互正交的子空间，避免信息混杂，提升特征区分度。
- 该方法轻量且即插即用，替换标准softmax无需大幅改动模型结构，适合快速验证能否抑制推荐模型中的注意力噪声问题。
VideoKR：面向知识密集与推理密集型视频理解
🧭 多模态视频理解 · 知识密集推理
Zhejiang University · Tongji University · University of Chinese Academy of Sciences · Yale University
提出首个大规模知识密集视频推理训练语料 VideoKR，并证明数据设计是提升视频推理性能的关键
📌 工作参考价值（4 点）
- 数据设计驱动能力突破：VideoKR 证明，针对特定能力（如知识密集推理）构建高质量、多难度的训练数据，比简单扩大通用数据更有效。在电商推荐中，可针对性构建商品知识推理、用户意图深层理解等微调数据，提升模型复杂决策能力。
- 人类参与、技能导向的生成流水线：通过人工设计技能树、难易分级、思维链验证，确保数据可靠且覆盖渐进式推理能力。可借鉴其流程，为 Agent 规划、多轮对话等场景合成高质量 SFT 数据，减少幻觉并增强逻辑性。
- SFT→GRPO 训练范式：先监督微调再强化学习的二阶段训练，有效增强模型长期推理和自省能力。对于多智体协作、生成式推荐等任务，可用 RL 进一步对齐人类偏好或业务目标，提升策略质量。
- 避免评估捷径：VideoKR-Eval 的设计刻意防止模型利用文本线索或表面统计假依赖，这提示我们在评估推荐解释、对话系统时应设计对抗性评估，确保模型真正理解了语义和上下文，而非文本匹配。